وب کاوی در صنعت

آفیس،داکس،92 صفحه

رشته نرم افزار

فقط شماره صفحه در فهرست مطالب باید شماره گذاری شود .

چکيده

با افزايش چشمگير حجم اطلاعات و توسعه وب، نياز به روش ها و تکنيک هايي که بتوانند امکان دستيابي کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بيش از پيش احساس مي شود. وب کاوي يکي از زمينه هاي تحقيقاتي است که با به کارگيري تکنيک هاي داده کاوي به کشف و استخراج خودکار اطلاعات از اسناد و سرويس‌هاي وب مي پردازد. در واقعوب کاوي، فرآيند کشف اطلاعات و دانش ناشناخته و مفيد از داده هاي وب مي باشد. روش هاي وب کاوي بر اساس آن که چه نوع داده اي را مورد کاوش قرار مي دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسيم می شوند. طي اين گزارش پس از معرفی وب کاوي و بررسی مراحل آن، ارتباط وب کاوي با ساير زمينه هاي تحقيقاتي بررسي شده و به چالش ها، مشکلات و کاربردهای اين زمينه تحقيقاتي اشاره مي شود. همچنين هر يک از انواع وب کاوي به تفصيل مورد بررسي قرار مي گيرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. براي اين منظور مدل ها، الگوريتم ها و کاربردهاي هر طبقه معرفي مي شوند.

فهرست مطالب

فصل اول:مقدمه
فصل دوم:داده کاوی
2- 1 مقدمه ای برداده کاوی
2-1-1 چه چيزی سبب پيدايش داده کاوی شده است؟
2-2 مراحل کشف دانش
2- 3 جایگاه داده کاوی درمیان علوم مختلف
2-4 داده کاوی چه کارهایی نمیتواندانجام دهد؟
2-5 داده کاوی وانبارداده ها
2-6 داده کاوی وOLAP
2-7 کاربردیادگیری ماشین وآماردرداده کاوی
2-8 توصیف داده هادر داده کاوی
2-8-1 خلاصه سازی وبه تصویردرآوردن داده ها
2-8-2 خوشه بندی
2-8-3 تحلیل لینک
2-9 مدلهای پیشبینی داده ها
2-9-1 دسته بندی
2-9-2 رگرسیون
2-9-3 سریهای زمانی
2-10 مدلهاوالگوریتمهای داده کاوی
2-10-1 شبکه های عصبی
2-10-2 درخت تصمیم
2-10-3 Multivariate Adaptive Regression Splines(MARS)
2-10-4 Rule induction
2-10-5 K-nearest neibour and memory-based reansoning(MBR)
2-10-6 رگرسیون منطقی
2-10-7 تحلیل تفکیکی
2-10-8 مدل افزودنیکلی (GAM)
2-10-9 Boosting
2-11 سلسله مراتب انتخابها
2-12داده کاوی ومدیریت بهینه وب سایتها
2-13داده‌كاوي ومديريت دانش
فصل سوم: وب کاوی
3-1 تعریف وبکاوی
3-2 مراحل وبکاوي
3-3 وبکاوي وزمينه هاي تحقيقاتي مرتبط
3-3-1 وب کاوي وداده کاوي
3-3-2 وبکاوي وبازيابي اطلاعات
3-3-3 وب کاوي واستخراج اطلاعات
3-3-4 وب کاوي ويادگيري ماشين
3-4 انواع وبکاوي
3-5 چالشهاي وبکاوي
3-6مشكلات ومحدوديتهاي وبكاوي درسايتهاي فارسي زبان
3-7 محتواکاوی وب
فصل چهارم: وب کاوی در صنعت
4-1 انواع وبکاوی درصنعت
4-1-1وبکاوی درصنعت نفت،گازوپتروشیمی
4-1-1-1 مهندسی مخازن/ اکتشاف
4-1-1-2مهندسی بهره برداری
4-1-1- 3مهندسی حفاری
4-1-1-4بخشهای مدیریتی
4-1-2 کاربردهای دانش داده کاوی درصنعت بیمه
4-1-3کاربردهای دانش داده کاوی درمدیریت شهری
4-1-4کاربردهای داده کاوی درصنعت بانکداری
4-1-4-1بخشبندی مشتریان
4-2 پژوهشهای کاربردی
نتيجه گيري
منابع وماخذفارسی
مراجع وماخذلاتین وسایتهای اینترنتی

مقدمه

با توسعه سيستم هاي اطلاعاتي، داده به يکي از منابع پراهميت سازمان ها مبدل گشته است. بنابراين روش ها و تکنيک هايي براي دستيابي کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از اين اطلاعات، مورد نياز مي باشد. با ايجاد و گسترش وب و افزايش چشمگير حجم اطلاعات، نياز به اين روش ها و تکنيک ها بيش از پيش احساس مي شود. وب، محيطي وسيع، متنوع و پويا است که کاربران متعدد اسناد خود را در آن منتشر مي کنند. در حال حاضر بيش از دو بيليون صفحه در وب موجود است و اين تعداد با نرخ 3/7 ميليون صفحه در روز افزايش مييابد. با توجه به حجم وسيع اطلاعات در وب، مديريت آن با ابزارهاي سنتي تقريبا غير ممکن است و ابزارها و روش هايي نو براي مديريت آن مورد نياز است. به طور کلي کاربران وب در استفاده از آن با مشکلات زير روبرو هستند:

1. يافتن اطلاعات مرتبط:

يافتن اطلاعات مورد نياز در وب دشوار مي باشد. روش هاي سنتي بازيابي اطلاعات که براي جستجوي اطلاعات در پايگاه داده ها به کار مي روند، قابل استفاده در وب نمي‌باشند وکاربران معمولا از موتورهاي جستجو که مهمترين و رايج ترين ابزار براييافتن اطلاعات در وب مي باشند، استفاده مي کنند. اين موتورها، يک پرس و جوي مبتني بر کلمات کليدي از کاربر دريافت کرده و در پاسخ ليستي از اسناد مرتبط با پرس و جوي وي را که بر اساس ميزان ارتباط با اين پرس و جو مرتب شده اند، به وي ارائه مي کنند. اما موتورهاي جستجو داراي دو مشکل اصليهستند. اولا دقت موتورهاي جستجو پايين است، چراکه اين موتورها در پاسخ به يک پرس و جوي کاربر صدها يا هزاران سند را بازيابي مي کنند، در حالي که بسياري از اسناد بازيابي شده توسط آنها با نياز اطلاعاتي کاربر مرتبط نمي باشند. دوما ميزان فراخواناين موتورها کم مي باشد، به آن معني که قادر به بازيابي کليه اسناد مرتبط با نياز اطلاعاتي کاربر نيستند. چراکه حجم اسناد در وب بسيار زياد است و موتورهاي جستجو قادر به نگهداري اطلاعات کليه اسناد وب، در پايگاه داده هاي خود نمي باشند. 
2. ايجاد دانش جديد با استفاده از اطلاعات موجود در وب:

اين مشکل در واقع بخشي از مشکل مطرح شده در قسمت قبل مي باشد. در حال حاضر اين سوال مطرح است که چگونه مي توان داده هاي فراوان موجود در وب را به دانشي قابل استفاده تبديل کرد، به طوري که يافتن اطلاعات مورد نياز در آن به سادگي صورت بگيرد. همچنين چگونه مي توان با استفاده از داده هاي وب به اطلاعات و دانشي جديد دست يافت.
3. خصوصي سازي اطلاعات:

از آن جا که کاربران متفاوت هر يک درباره نوع و نحوه بازنمايي اطلاعات سليقه خاصي دارند،اين مسئله بايد توسط تامين کنندگان اطلاعات در وب مورد توجه قرار بگيرد. براي اين منظور با توجه به خواسته ها و تمايلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها بايد سفارشي گردد. 

تکنيک هاي وب کاويقادر به حل اين مشکلات مي باشند. دروب کاويبه صورت زير تعريف شده است:

وب کاوي به کارگيري تکنيک هاي داده کاوي براي کشف و استخراج خودکار اطلاعات از اسناد و سرويس هاي وب مي باشد.
البته تکنيک هاي وب کاوي تنها ابزار موجود براي حل اين مشکلات نيستند. بلکه تکنيک هاي مختلفي از ساير زمينه هاي تحقيقاتي همچون پايگاه داده ها، بازيابي اطلاعات، پردازش زبان طبيعيقابل استفاده در اين زمينه مي باشند. همچنين تکنينک هاي وب کاوي مي توانند به صورت مستقيم يا غير مستقيم براي حل اين مشکلات به کار روند. منظور از رويکرد مستقيم آن است که کاربرد تکنيک هاي وب کاوي به صورت مستقيم مشکلات مطرح شده را حل مي نمايد. يک عامل گروه خبري که مرتبط بودن يک خبر به يک کاربر را تعيين مي کند، مثالي از اين رويکرد مي باشد. اما در رويکرد غير مستقيم، تکنيک هاي وب کاوي به عنوان بخشي از يک روش جامع تر که به حل اين مشکلات مي پردازد، مورد استفاده قرار مي گيرند.
با توجه به گسترش روز افزون حجم اطلاعات در وب و ارتباط وب کاوي با تجارت الکترونيکي، وب کاوي به يک زمينه تحقيقاتي وسيع مبدل گشته است. طي اين گزارش پس از بررسي مراحل وب کاوي،انواع آن معرفي مي شوند. سپس ارتباط وب کاوي با ساير زمينه هاي تحقيقاتي بررسي شده و به چالش ها و مشکلات اين زمينه تحقيقاتي اشاره مي شود. در ادامه هر يک از انواع وب کاوي به تفصيل مورد بررسي قرار مي گيرند. براي اين منظور مدل ها، الگوريتم ها و کاربردهايهر طبقه معرفي مي شوند. در پايان نيز به برخي از نمونه کاربردهاي واقعي وب کاوياشاره مي شود.


فصل دوم
داده کاوی



2-1مقدمه­ای بر داده­کاوی

در دو دهه قبل توانايي های فنی بشر در برای توليد و جمع آوری داده‌ها به سرعت افزايش يافته است. عواملی نظير استفاده گسترده از بارکد برای توليدات تجاری، به خدمت گرفتن کامپيوتر در کسب و کار، علوم، خدمات دولتی و پيشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاوير تا سيستمهای سنجش از دور ماهواره ای، در اين تغييرات نقش مهمی دارند .
بطور کلی استفاده همگانی از وب و اينترنت به عنوان يک سيستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. اين رشد انفجاری در داده‌های ذخيره شده، نياز مبرم وجود تکنولوژی های جديد و ابزارهای خودکاری را ايجاد کرده که به صورت هوشمند به انسان ياری رسانند تا اين حجم زياد داده را به اطلاعات و دانش تبديل کند: داده کاوی به عنوان يک راه حل برای اين مسائل مطرح مي باشد. در يک تعريف غير رسمی داده کاوی فرآيندی است، خودکار برای استخراج الگوهايی که دانش را بازنمايی مي کنند، که اين دانش به صورت ضمنی در پايگاه داده های عظيم، انباره داده و ديگر مخازن بزرگ اطلاعات، ذخيره شده است. داده کاوی بطور همزمان از چندين رشته علمی بهره مي برد نظير: تکنولوژی پايگاه داده، هوش مصنوعی، يادگيری ماشين، شبکه های عصبی، آمار، شناسايی الگو، سيستم های مبتنی بر دانش، حصول دانش، بازيابی اطلاعات، محاسبات سرعت بالا و بازنمايی بصری داده . داده کاوی در اواخر دهه 1980 پديدار گشته، در دهه 1990 گامهای بلندی در اين شاخه از علم برداشته شده و انتظار می رود در اين قرن به........ادامه.